AMD вместе с ускорителями Instinct MI350X/MI355X представила 7-ю версию своего открытого программного стека ROCm (Radeon open compute). Как сообщает компания, ROCm 7.0 предназначен для удовлетворения растущих потребностей рабочих нагрузок генеративного ИИ и HPC, одновременно расширяя возможности разработчиков за счёт доступности, эффективности и активного сотрудничества сообщества.

По данным AMD, платформа ROCm 7 предлагает более чем в 3,5 раза большую производительность инференса, чем ROCm 6, и в 3 раза большую эффективность обучения. Это стало возможным благодаря улучшениям производительности и поддержке типов данных с меньшей точностью, таких как FP4 и FP6. Дальнейшие улучшения в коммуникационных стеках позволили оптимизировать использование ускорителя и перемещение данных.

ROCm 7 поддерживает распределённый инференс, а также фреймворки SGLang, vLLM и llm-d. Платформа ROCm 7 создавалась совместно с этими партнёрами, включая разработку общих интерфейсов и примитивов для обеспечения эффективного распределённого инференса на платформах AMD.

Источник изображений: AMD

Вместе с ROCm 7 компания представила MLOps-платформу ROCm Enterprise AI для бесперебойных ИИ-операций в корпоративном сегменте. Платформа предлагает инструменты для тонкой настройки модели и интеграции как со структурированными, так и неструктурированными рабочими процессами. AMD заявила, что работает с партнёрами по экосистеме над созданием эталонных реализаций для таких приложений, как чат-боты и обобщение документов.

AMD отметила, что тесное партнёрство гарантирует разработчикам доступ к лучшим в своем классе инструментам, постоянному улучшению производительности и открытой среде для быстрой итерации и развёртывания. Также AMD представила партнёров экосистемы ROCm, которые используют преимущества данной платформы:

• Meta✴ — выполнение рабочих нагрузок ранжирования, рекомендаций и генерации контента на ускорителях AMD Instinct, в том числе с использованием моделей Llama.
• Microsoft — Instinct MI300X теперь поддерживает как проприетарные, так и открыте модели в Azure.
• Red Hat OpenShift AI — поддержка масштабируемого инфренса LLM и ИИ-операций с ROCm на Red Hat OpenShift AI для гибридных облачных сред.
• Cohere — развёртывание модели Command R+ со 104 млрд параметров и контекстным окном в 128 тыс. токенов на ускорителях AMD Instinct с использованием vLLM и ROCm для инференса корпоративного уровня.

Кроме того, AMD представила «простую в использовании платформу для разработчиков» AMD Developer Cloud, обеспечивающую быстрый доступ к AMD Instinct с возможностью масштабирования от одного (192 Гбайт памяти) до восьми AMD Instinct MI300X (1536 Гбайт памяти). Сообщается, что конфигурации с одним ускорителем в основном используются для рабочих нагрузок инференса на «лёгких» моделях, тогда как максимальная конфигурация обеспечивает распределённое обучение, тонкую настройку и высокопроизводительный инференс для крупномасштабных моделей.

AMD сообщила, что платформа AMD Developer Cloud была разработана с учётом четырёх основных целей:

• Ускорение внедрения AMD GPU — расширение доступа к ускорителям для широкого круга разработчиков и их сообществ;
• Демонстрация производительности — практический опыт компании подчёркивает удобство использования и развёртывания AMD GPU, гарантируя разработчикам возможность использовать всю их мощь;
• Поддержка open source — компания предоставляет возможность ключевым участникам легко интегрировать собственную поддержку AMD GPU в свои проекты;
• Содействие обучению и сотрудничеству — наличие образовательного контента по запросу и интерактивных форумов.

По словам компании, AMD Developer Cloud предполагает различные варианты использования. Решение идеально подходит для независимых разработчиков AI/ML, работающих над низкоуровневым программированием, разработкой ядер (kernel) или корпоративных приложений и проектов, нацеленных на нативную поддержку AMD. Также платформу можно использовать для мероприятий и хакатонов, обеспечивая масштабируемую поддержку образовательных и практических мероприятий с предоставлением кредитов на использование ускорителей во время семинаров, хакатонов, конкурсов и демонстраций.

Также с выходом ROCm 7 появилась поддержка ноутбуков и рабочих станциях на Windows с видеокартами Radeon и процессорами Ryzen AI. С этим связан ещё один важный анонс — компания представила программу ROCm on Radeon Test Drive, которая будет запущена этим летом партнёрстве с различными поставщиками оборудования (первыми стали Colfax и System76), чтобы упростить разработчикам возможность опробовать ROCm на GPU Radeon, передаёт Phoronix. В рамках Radeon Test Drive предоставляется возможность удалённо протестировать GPU Radeon (PRO).

ClickHouse, разработчик СУБД с открытым исходным кодом, в настоящее время проводит переговоры по поводу проведения раунда финансирования при оценке рыночной стоимости компании в $6 млрд, пишет MLQ.ai. Целевая оценка капитализации ClickHouse втрое превышает показатель предыдущего раунда финансирования — четыре года назад компания была оценена в $2 млрд.

Сообщается, что раунд возглавит Khosla Ventures. Компания намерена привлечь сотни миллионов долларов. Значительный рост оценки ClickHouse подчеркивает быстрый рост компании с увеличивающимся присутствием на высококонкурентном рынке аналитики данных. Также это свидетельствует о значительном интересе инвесторов, поскольку компания расширяет свои технологические предложения по сравнению с гигантами рынка вроде Snowflake, отметил MLQ.ai.

Разработанная ClickHouse одноимённая колоночная open source OLAP СУБД известна своей скоростью и эффективностью использования ресурсов при обработке крупномасштабной аналитики. Работа ClickHouse по развитию решения в соответствии со стратегией lakehouse, которая объединяет возможности озёр данных и хранилищ, отражают её амбиции по устранению пробелов в корпоративной инфраструктуре данных, сообщил ресурс MLQ.ai. Технология ClickHouse используется Sony, Lyft, Cisco и GitLab.

Источник изображения: ClickHouse

Новая оценка рыночной стоимости ClickHouse выводит её в ранг заметного конкурента Snowflake, нынешнего лидера данного рынка. Рост доверия инвесторов свидетельствует о том, что рынок рассматривает ClickHouse как крупного игрока, способного влиять на тенденции в более широком секторе инфраструктуры данных. Её ориентация на экономически эффективные решения для аналитики в реальном времени соответствует потребностям корпоративных клиентов.

В рамках предыдущих раундов финансирования ClickHouse привлекла $300 млн при поддержке Thrive Capital и Redpoint Ventures. По мнению отраслевых наблюдателей, фокус ClickHouse на объединение традиционных функций хранилища данных и озера данных соответствует текущим тенденциям рынка и потребностям клиентов. Несмотря на значительную конкуренцию, в том числе, со стороны Snowflake, популярность ClickHouse и быстро растущая клиентская база обеспечивают компании устойчивое развитие, которое будет зависеть от её способности поддерживать постоянные инновации.

Успешное проведение раунда финансирования позволит ClickHouse ускорить как разработку продукта, так и глобальную экспансию. Эксперты прогнозируют дальнейшее усиление конкуренции в сфере инфраструктур данных, особенно вокруг развивающейся парадигмы lakehouse. Nebius принадлежит 28 % акций ClickHouse.

В 2024 году доступный для монетизации объем рынка (Serviceable Addressable Market, SAM) коммерческих платформ контейнеризации, включающий on-premise решения и облачные сервисы, составил 1,5 млрд руб. (рост на 28 % по сравнению с годом ранее). В 2025 году этот показатель будет равен 2 млрд руб. (рост на 30 %). Об этом говорится в исследовании TAdviser «Объем российского рынка платформ контейнеризации и его лидеры».

Общий объем рынка коммерческих платформ контейнеризации, включающий выручку от продаж лицензий и услуг поддержки on-premise-платформ, по итогам 2023 года составил 975 млн руб. С учетом выручки вендоров общий объем рынка оценивается в 3,9–5,7 млрд руб. Среди лидеров аналитики TAdviser называют решения Deckhouse Kubernеtes Platform от компании «Флант» (30 % рынка), Basis Digital Energy от «Базиса» (22 %), «Штурвал» от «Лаборатории числитель» (10 %), «Боцман» от «Платформы Боцман» (10 %) и Nova Container Platform от Orion soft (8 %). Так, в 2024 году Deckhouse Kubernetes Platform показала рост выручки в 170 %.

Также на рынке присутствуют около 20 вендоров различного масштаба с малыми долями, которые в будущем могут быть поглощены более крупными игроками. По словам исполнительного директора «Лаборатории числитель», рынок коммерческих платформ контейнеризации только формируется, в ближайшие пару лет ожидаются слияния и поглощения нишевых решений.

Источник: TAdviser

В структуре потребления лидируют самописные платформы на базе «ванильных» Kubernetes и коммерческие on-premise платформы, им незначительно уступают open-source платформы. На рост рынка контейнеризации закономерно повлияли уход зарубежных вендоров и политика импортозамещения, рост интереса к микросервисным архитектурам и Kubernetes, а также развитие облачных технологий и ML/AI-решений.

Исследование проводилось с октября 2024 года по февраль 2025 года. В нем участвовали около 300 представителей заказчиков и более 30 вендоров платформ контейнеризации. Рынок платформ контейнеризации формируется из таких основных частей как компании, использующие коммерческие платформы (on-premise), коммерческие облачные сервисы (CaaS/KaaS), open-source платформы (например, OKD), самостоятельно разрабатывающие платформы контейнеризации на базе «ванильного» Kubernetes, и компании, не использующие платформы контейнеризации (потенциальный объем проектов).

Дочерняя компания разработчика ПО на рынке систем управления и обработки данных Arenadata ООО «Аренадата Софтвер» приобрела интеллектуальные права на продукт Proxima DB у ИТ-компании «Орион» (Orion soft). Команда разработки будет интегрирована в состав персонала «Аренадата Софтвер». Сумма сделки не разглашается.

Стратегическое партнерство компаний позволит Orion soft сфокусироваться на развитии инфраструктурных продуктов, а Arenadata — расширить портфель решений для крупных организаций. Proxima DB переименован в Arenadata Prosperity (ADP). ADP построена на базе open source-технологии PostgreSQL. ADP обеспечивает оперативный мониторинг и анализ для минимизации времени простоя, совместима с платформой «1С», имеет сертификат ФСТЭК (4-й уровень доверия).

В рамках партнерства предусмотрено использование продуктов Orion soft в качестве инфраструктурной основы для решений cloud-native платформы Arenadata One. Это платформа виртуализации zVirt и Kubernetes-решение для управления контейнерами Nova Container Platform. По словам генерального директора группы Arenadata, Arenadata Prosperity усилит присутствие в сегменте СУБД общего назначения для госсектора и корпоративного рынка.

Источник: Orion soft

Согласно отчету ЦСР «Рынок систем управления и обработки данных в РФ: текущее состояние и перспективы развития», рынок СУБД общего назначения составляет около 26 % от общего рынка систем управления и обработки данных, который оценивается в 95 млрд руб. на конец 2024 года.

«Группа Астра», Axiom JDK (АО «Аксиом») и Haulmont объявили о создании совместного предприятия «Открытая среда разработки» на паритетных началах в рамках некоммерческого партнёрства с целью развития и вывода на рынок OpenIDE — бесплатной, безопасной, лицензионно чистой среды разработки на базе open source среды IntelliJ IDEA Community Edition, первая версия которой находится на финальной стадии бета-тестирования. Выход стабильной версии OpenIDE с публикацией исходников и открытием баг-трекера намечен на II квартал 2025 года. Согласно графику, в III квартале платформа будет включена в реестр российского ПО.

OpenIDE объединяет и упрощает использование различных инструментов разработки, способствуя экономии ИТ-ресурсов и снижению затрат, оптимизируя процессы разработки и управление лицензиями, что позволяет компаниям более эффективно распределять ресурсы. Платформа позволит решать задачи госсектора и крупного бизнеса, предъявляющих особые требования к безопасности, предсказуемости и технологической независимости.

Как указано в пресс-релизе, запуск платформы стал одним из первых в России масштабных примеров объединения нескольких вендоров для создания бесплатного решения с открытым исходным кодом, соответствующего самым высоким стандартам производительности, надёжности и безопасности.

Источник изображения: OpenIDE

Учредители OpenIDE рассчитывают привлечь партнёров для участия в open source проекте, которые также предложат свои продукты пользователям платформы. В OpenIDE можно создавать Java-проекты на свободной версии платформы Axiom JDK — единственной отечественной тиражируемой JDK. Бесплатная версия плагина Amplicode от Haulmont предоставляет базовую поддержку фреймворка Spring «из коробки». Также «Группа Астра» планирует в ближайшее время предложить удобную интеграцию с платформой для разработки GitFlic.

Ключевые преимущества OpenIDE — открытый исходный код и отсутствие рисков, связанных с использованием зарубежных технологий и размещением инфраструктуры за пределами страны. В ней нет проприетарных компонентов, серверы с дистрибутивами и исходным кодом, как и команда её разработчиков, находятся в России. Что также удобно, функциональность решения можно расширить, подключив соответствующие отечественные плагины через открытый маркетплейс. Благодаря этому обеспечивается гибкость, надёжность и безопасность решения, а также исключаются проблемы с лицензированием, говорят создатели.

Генеральным директором ООО «Открытая среда разработки» назначен Федор Сазонов, который, в частности руководил разработкой решений для работы с ключевыми клиентами в «Сбере». «Создание OpenIDE — это не просто реакция на текущие ограничения, а стратегический шаг. Мы стремимся вырастить полноценную и безопасную экосистему продуктов для российских разработчиков ПО», — заявил Сазонов, выразив уверенность в перспективности проекта, который привлечёт большое количество пользователей.

Команда OpenWrt, по сообщению ресурса Liliputing, приступила к созданию маршрутизатора OpenWrt Two, который поступит в продажу в конце текущего года. В разработке новинки принимают участие специалисты компании GL.iNet.

Маршрутизатор OpenWrt One (на изображении) дебютировал в декабре 2024 года. Устройство, спроектированное в сотрудничестве с Banana Pi, несёт на борту процессор MediaTek Filogic 820 (MT7981B) с двумя ядрами Arm Cortex-A53, 1 Гбайт памяти DDR4 и опциональный SSD формата M.2 2242/2230 с интерфейсом PCIe 2.0 x1 (NVMe). Есть сетевые порты 2.5GbE и 1GbE, а также адаптер Wi-Fi 6. Цена составляет около $90.

В основу OpenWrt Two ляжет чип MediaTek Filogic 880 (MT7988), который объединяет четыре ядра Arm Cortex-A73 с частотой до 1,8 ГГц и контроллер памяти DDR3/DDR4 (фактический объём ОЗУ пока не уточняется). Реализована беспроводная связь Wi-Fi 7 (802.11a/b/g/n/ac/ax/be) в частотных диапазонах 2,4, 5 и 6 ГГц. Говорится о поддержке модуляции 4096-QAM.

Источник изображения: OpenWrt

Для новинки по сравнению с оригинальной моделью предусмотрен более широкий набор Ethernet-портов: это 10GbE SFP, 5GbE RJ45, 2.5GbE RJ45 (четыре разъёма) и 1GbE RJ45 (один или два разъёма). Благодаря увеличению количества сетевых гнёзд расширятся функциональные возможности маршрутизатора. В качестве программной платформы, как и прежде, будет применяться OpenWrt — встраиваемая ОС с ядром Linux. По заявлениям разработчиков, это обеспечит возможность модификации и настройки устройства в соответствии с конкретными требованиями. Ожидается, что стоимость OpenWrt Two составит около $250.

Признавая, что одних моделей, включая свежие Llama Nemotron с регулируемым «уровнем интеллекта», недостаточно для развёртывания ИИ на предприятии, NVIDIA анонсировала проект AI-Q Blueprint, представляющий собой фреймворк с открытым исходным кодом, позволяющий разработчикам подключать базы знаний к ИИ-агентам, которые могут действовать автономно.

Blueprint был создан с помощью микросервисов NVIDIA NIM и интегрируется с NVIDIA NeMo Retriever, что упрощает для ИИ-агентов извлечение мультимодальных данных в различных форматах. С помощью AI-Q агенты суммируют большие наборы данных, генерируя токены в 5 раз быстрее и поглощая данные петабайтного масштаба в 15 раз быстрее с лучшей семантической точностью.

Проект основан на новом наборе инструментов NVIDIA AgentIQ для бесшовного, гетерогенного соединения между агентами, инструментами и данными, опубликованном на GitHub. Он представляет собой программную библиотеку с открытым исходным кодом для подключения, профилирования и оптимизации команд агентов ИИ, работающих на основе корпоративных данных для создания многоагентных комплексных (end-to-end) систем. Его можно легко интегрировать с существующими многоагентными системами — как по частям, так и в качестве комплексного решения — с помощью простого процесса адаптации, который обеспечивает полную поддержку.

Набор инструментов AgentIQ также повышает прозрачность с полной отслеживаемостью и профилированием системы, что позволяет организациям контролировать производительность, выявлять неэффективность и иметь детальное представление о том, как генерируется бизнес-аналитика. Эти данные профилирования можно использовать с NVIDIA NIM и библиотекой с открытым исходным кодом NVIDIA Dynamo для оптимизации производительности агентских систем.

Благодаря этим инструментам предприятиям будет проще объединять команды ИИ-агентов в таких решениях, как Agentforce от Salesforce, поиск Atlassian Rovo в Confluence и Jira, а также ИИ-платформа ServiceNow для трансформации бизнеса, чтобы устранить разрозненность, оптимизировать задачи и сократить время ответа с дней до часов. AgentIQ также интегрируется с такими фреймворками и инструментами, как CrewAI, LangGraph, Llama Stack, Microsoft Azure AI Agent Service и Letta, позволяя разработчикам работать в своей предпочтительной среде. Azure AI Agent Service интегрирован с AgentIQ для обеспечения более эффективных агентов ИИ и оркестровки многоагентных фреймворков с использованием семантического ядра, которое полностью поддерживается в AgentIQ.

Возможности ИИ-агентов уже широко используются в различных отраслях. Например, платёжная система Visa использует ИИ-агентов для оптимизации кибербезопасности, автоматизируя анализ фишинговых писем в масштабе. Используя функцию профилирования AI-Q, Visa может оптимизировать производительность и затраты агентов, максимально увеличивая роль ИИ в эффективном реагировании на угрозы, сообщила NVIDIA.

NVIDIA анонсировала новое семейство ИИ-моделей Llama Nemotron с расширенными возможностями рассуждения. Основанные на моделях Llama с открытым исходным кодом от Meta✴ Platforms, модели от NVIDIA предназначены для предоставления разработчикам основы для создания продвинутых ИИ-агентов, которые могут от имени своих пользователей независимо или с минимальным контролем работать в составе связанных команд для решения сложных задач.

«Агенты — это автономные программные системы, предназначенные для рассуждений, планирования, действий и критики своей работы», — сообщила Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами Generative AI в NVIDIA на брифинге с прессой, пишет VentureBeat. «Как и люди, агенты должны понимать контекст, чтобы разбивать сложные запросы, понимать намерения пользователя и адаптироваться в реальном времени», — добавила она. По словам Бриски, взяв Llama за основу, NVIDIA оптимизировала модель с точки зрения требований к вычислениям, сохранив точность ответов.

Источник изображений: NVIDIA

NVIDIA сообщила, что улучшила новое семейство моделей рассуждений в ходе дообучения, чтобы улучшить многошаговые математические расчёты, кодирование, рассуждения и принятие сложных решений. Это позволило повысить точность ответов моделей до 20 % по сравнению с базовой моделью и увеличить скорость инференса в пять раз по сравнению с другими ведущими рассуждающими open source моделями. Повышение производительности инференса означают, что модели могут справляться с более сложными задачами рассуждений, имеют расширенные возможности принятия решений и позволяют сократить эксплуатационные расходы для предприятий, пояснила компания.

Модели Llama Nemotron доступны в микросервисах NVIDIA NIM в версиях Nano, Super и Ultra. Они оптимизированы для разных вариантов развёртывания: Nano для ПК и периферийных устройств с сохранением высокой точности рассуждения, Super для оптимальной пропускной способности и точности при работе с одним ускорителем, а Ultra — для максимальной «агентской точности» в средах ЦОД с несколькими ускорителями.

Как сообщает NVIDIA, обширное дообучение было проведено в сервисе NVIDIA DGX Cloud с использованием высококачественных курируемых синтетических данных, сгенерированных NVIDIA Nemotron и другими открытыми моделями, а также дополнительных курируемых наборов данных, совместно созданных NVIDIA. Обучение включало 360 тыс. часов инференса с использованием ускорителей H100 и 45 тыс. часов аннотирования человеком для улучшения возможностей рассуждения. По словам компании, инструменты, наборы данных и методы оптимизации, используемые для разработки моделей, будут в открытом доступе, что предоставит предприятиям гибкость в создании собственных пользовательских рвссуждающих моделей.

Одной из ключевых функций NVIDIA Llama Nemotron является возможность включать и выключать опцию рассуждения. Это новая возможность на рынке ИИ, утверждает компания. Anthropic Claude 3.7 имеет несколько схожую функциональность, хотя она является закрытой проприетарной моделью. Среди моделей с открытым исходным кодом IBM Granite 3.2 тоже имеет переключатель рассуждений, который IBM называет «условным рассуждением».

Особенность гибридного или условного рассуждения заключается в том, что оно позволяет системам исключать вычислительно затратные этапы рассуждений для простых запросов. NVIDIA продемонстрировала, как модель может задействовать сложные рассуждения при решении комбинаторной задачи, но переключаться в режим прямого ответа для простых фактических запросов.

NVIDIA сообщила, что целый ряд партнёров уже использует модели Llama Nemotron для создания новых мощных ИИ-агентов. Например, Microsoft добавила Llama Nemotron и микросервисы NIM в Microsoft Azure AI Foundry. SAP SE использует модели Llama Nemotron для улучшения возможностей своего ИИ-помощника Joule и портфеля решений SAP Business AI. Кроме того, компания использует микросервисы NVIDIA NIM и NVIDIA NeMo для повышения точности завершения кода для языка ABAP.

ServiceNow использует модели Llama Nemotron для создания ИИ-агентов, которые обеспечивают повышение производительности и точности исполнения задач предприятий в различных отраслях. Accenture сделала рассуждающие модели NVIDIA Llama Nemotron доступными на своей платформе AI Refinery. Deloitte планирует включить модели Llama Nemotron в свою недавно анонсированную платформу агентского ИИ Zora AI. Atlassian и Box также работают с NVIDIA, чтобы гарантировать своим клиентам доступ к моделям Llama Nemotron.

NVIDIA представила NVIDIA Dynamo, преемника NVIDIA Triton Inference Server — программную среду с открытым исходным кодом для разработчиков, обеспечивающую ускорение инференса, а также упрощающую масштабирование рассуждающих ИИ-моделей в ИИ-фабриках с минимальными затратами и максимальной эффективностью. Глава NVIDIA Дженсен Хуанг (Jensen Huang) назвал Dynamo «операционной системой для ИИ-фабрик».

NVIDIA Dynamo повышает производительность инференса, одновременно снижая затраты на масштабирование вычислений во время тестирования. Сообщается, что благодаря оптимизации инференса на NVIDIA Blackwell эта платформа многократно увеличивает производительность рассуждающей ИИ-модели DeepSeek-R1.

Источник изображений: NVIDIA

Платформа NVIDIA Dynamo, разработанная для максимизации дохода от токенов для ИИ-фабрик (ИИ ЦОД), организует и ускоряет коммуникацию инференса на тысячах ускорителей, и использует дезагрегированную обработку данных для разделения фаз обработки и генерации больших языковых моделей (LLM) на разных ускорителях. Это позволяет оптимизировать каждую фазу независимо от её конкретных потребностей и обеспечивает максимальное использование вычислительных ресурсов.

При том же количестве ускорителей Dynamo удваивает производительность (т.е. фактически доход ИИ-фабрик) моделей Llama на платформе NVIDIA Hopper. При запуске модели DeepSeek-R1 на большом кластере GB200 NVL72 благодаря интеллектуальной оптимизации инференса с помощью NVIDIA Dynamo количество генерируемых токенов на каждый ускоритель токенов увеличивается более чем в 30 раз, сообщила NVIDIA.

NVIDIA Dynamo может динамически перераспределять нагрузку на ускорители в ответ на меняющиеся объёмы и типы запросов, а также закреплять задачи за конкретными ускорителями в больших кластерах, что помогает минимизировать вычисления для ответов и маршрутизировать запросы. Платформа также может выгружать данные инференса в более доступную память и устройства хранения данных и быстро извлекать их при необходимости.

NVIDIA Dynamo имеет полностью открытый исходный код и поддерживает PyTorch, SGLang, NVIDIA TensorRT-LLM и vLLM, что позволяет клиентам разрабатывать и оптимизировать способы запуска ИИ-моделей в рамках дезагрегированного инференса. По словам NVIDIA, это позволит ускорить внедрение решения на различных платформах, включая AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta✴, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI и VAST.

NVIDIA Dynamo распределяет информацию, которую системы инференса хранят в памяти после обработки предыдущих запросов (KV-кеш), на множество ускорителей (до тысяч). Затем платформа направляет новые запросы на те ускорители, содержимое KV-кеша которых наиболее близко к новому запросу, тем самым избегая дорогостоящих повторных вычислений.

NVIDIA Dynamo также обеспечивает дезагрегацию обработки входящих запросов, которое отправляет различные этапы исполнения LLM — от «понимания» запроса до генерации — разным ускорителям. Этот подход идеально подходит для рассуждающих моделей. Дезагрегированное обслуживание позволяет настраивать и выделять ресурсы для каждой фазы независимо, обеспечивая более высокую пропускную способность и более быстрые ответы на запросы.

NVIDIA Dynamo включает четыре ключевых механизма:

• GPU Planner: механизм планирования, который динамически меняет количество ускорителей в соответствии с меняющимися запросами, устраняя возможность избыточного или недостаточного выделения ресурсов.
• Smart Router: маршрутизатор для LLM, который распределяет запросы по большим группам ускорителей, чтобы минимизировать дорогостоящие повторные вычисления повторяющихся или перекрывающихся запросов, высвобождая ресурсы для обработки новых запросов.
• Low-Latency Communication Library: оптимизированная для инференса библиотека, которая поддерживает связь между ускорителями и упрощает обмен данными между разнородными устройствами, ускоряя передачу данных.
• Memory Manager: механизм, который прозрачно и интеллектуально загружает, выгружает и распределяет данные инференса между памятью и устройствами хранения.

Платформа NVIDIA Dynamo будет доступна в микросервисах NVIDIA NIM и будет поддерживаться в будущем выпуске платформы NVIDIA AI Enterprise.

Архитектура RISC-V с открытым исходным кодом, похоже, набирает значительную популярность в Китае, сделал вывод ресурс The Register, назвав в качестве свежего примера анонс процессора XuanTie C930, созданного НИИ Damo Academy (Alibaba Group Holding). Ядро C930 позиционируется как идеальное решение для серверов, ПК и автономных автомобилей.

Особенно важно соответствие профилю RVA23, поскольку это краеугольный камень экосистемы RISC-V. В частности, профиль определяет расширения для гипервизора, которые являются практически необходимыми для серверных и облачных CPU. Как сообщает XuanTie, «C930 использует передовую микроархитектуру для достижения высокой производительности, включая алгоритм прогнозирования ветвлений на основе TAGE, индивидуальный кеш L2, регулируемый механизм предварительной выборки данных и т. д. Показатель производительности C930 в тесте Specint2006 превышает 15/ГГц».

Сообщается, что «типичная конфигурация одного кластера поддерживает четыре ядра» с 64 Кбайт кеша инструкций и данных и L2-кешем на 1 Мбайт. Векторный блок поддерживает расширение RISC-V Vector 1.0, обрабатывает 256-бие векторные регистры и поддерживает вычисления в формате FP16/BF16/FP32/FP64/INT8/INT16/INT32/INT64. Также упомянут блок матричных вычислений. В ходе презентации чипа топ-менеджеры Alibaba Cloud спрогнозировали, что RISC-V станет основной облачной архитектурой в течение 5–8 лет.

Источник изображений: XuanTie

По данным Reuters, Пекин планирует запустить государственную программу с целью стимулирования широкого использования RISC-V по всей стране. В настоящее время восемь китайских правительственных агентств занимаются подготовкой постановления, которое будет способствовать распространению чипов на базе RISC-V в Китае. Ранее власти призвали китайские компании отказаться от американских чипов в пользу отечественных. Китайский разработчик процессоров Loongson получил возможность участия в пилотном проекте на поставку 10 тыс. ПК китайские школы и контракт на использование его чипов в вычислительной системе на орбитальной станции «Тяньгун», а Lenovo перенесла свой HCI-стек на архитектуру Loongson.

Академия наук КНР пообещала в 2021 году выпускать новые проекты на основе RISC-V каждые полгода. Хотя эта цель не была достигнута, в феврале 2025 года академия намекнула на готовящийся мощный проект с использованием RISC-V. В 2023 году технологический гигант Baidu исследовал возможность использования чипов на базе RISC-V уровня ЦОД. В том же году Alibaba сообщила о намерении создать чипы RISC-V для различных сфер, от носимых устройств до облаков. Сейчас крупнейшими коммерческими производителями решений на базе RISC-V в Китае являются XuanTie и Nuclei System Technology, пишет Reuters.

На недавнем мероприятии XuanTie было заявлено, что популярность DeepSeek также может стимулировать внедрение RISC-V, поскольку ИИ-модели китайского стартапа эффективно работают на менее мощных чипах. «Даже если решение RISC-V стоимостью ¥10 млн ($1,4 млн) может достичь лишь около 30 % уровня решений NVIDIA или Huawei, три таких комплекта будут всё равно дешевле», — сообщил представитель China Mobile System Integration.

В США уже выразили беспокойство по поводу того, что открытая лицензия RISC-V, позволяющая разработчикам использовать архитектуру бесплатно, обеспечит китайским фирмам возможность применять интеллектуальную собственность, созданную в Америке, для разработки передовых технологий. Недавно господдержку запросил и российский альянс RISC-V.